Generalist models, which are capable of performing diverse multi-modal tasks in a task-agnostic way within a single model, have been explored recently. Being, hopefully, an alternative to approaching general-purpose AI, existing generalist models are still at an early stage, where modality and task coverage is limited. To empower multi-modal task-scaling and speed up this line of research, we release a generalist model learning system, OFASys, built on top of a declarative task interface named multi-modal instruction. At the core of OFASys is the idea of decoupling multi-modal task representations from the underlying model implementations. In OFASys, a task involving multiple modalities can be defined declaratively even with just a single line of code. The system automatically generates task plans from such instructions for training and inference. It also facilitates multi-task training for diverse multi-modal workloads. As a starting point, we provide presets of 7 different modalities and 23 highly-diverse example tasks in OFASys, with which we also develop a first-in-kind, single model, OFA+, that can handle text, image, speech, video, and motion data. The single OFA+ model achieves 95% performance in average with only 16% parameters of 15 task-finetuned models, showcasing the performance reliability of multi-modal task-scaling provided by OFASys. Available at https://github.com/OFA-Sys/OFASys

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

商业深度传感器通常会产生嘈杂和缺失的深度，尤其是在镜面和透明的对象上，这对下游深度或基于点云的任务构成了关键问题。为了减轻此问题，我们提出了一个强大的RGBD融合网络Swindrnet，以进行深度修复。我们进一步提出了域随机增强深度模拟（DREDS）方法，以使用基于物理的渲染模拟主动的立体声深度系统，并生成一个大规模合成数据集，该数据集包含130k Photorealistic RGB图像以及其模拟深度带有现实主义的传感器。为了评估深度恢复方法，我们还策划了一个现实世界中的数据集，即STD，该数据集捕获了30个混乱的场景，这些场景由50个对象组成，具有不同的材料，从透明，透明，弥漫性。实验表明，提议的DREDS数据集桥接了SIM到实地域间隙，因此，经过训练，我们的Swindrnet可以无缝地概括到其他真实的深度数据集，例如。 ClearGrasp，并以实时速度优于深度恢复的竞争方法。我们进一步表明，我们的深度恢复有效地提高了下游任务的性能，包括类别级别的姿势估计和掌握任务。我们的数据和代码可从https://github.com/pku-epic/dreds获得

随着硬件和算法的开发，ASR（自动语音识别）系统发展了很多。随着模型变得越来越简单，开发和部署的困难变得更加容易，ASR系统正越来越接近我们的生活。一方面，我们经常使用ASR的应用程序或API来生成字幕和记录会议。另一方面，智能扬声器和自动驾驶汽车依靠ASR系统来控制Aiot设备。在过去的几年中，对ASR系统的攻击攻击有很多作品。通过在波形中添加小的扰动，识别结果有很大的不同。在本文中，我们描述了ASR系统的发展，攻击的不同假设以及如何评估这些攻击。接下来，我们在两个攻击假设中介绍了有关对抗性示例攻击的当前作品：白框攻击和黑框攻击。与其他调查不同，我们更多地关注它们在ASR系统中扰动波形，这些攻击之间的关系及其实现方法之间的层。我们专注于他们作品的效果。

视觉和语言导航（VLN）任务要求代理根据语言说明浏览环境。在本文中，我们旨在解决此任务中的两个关键挑战：利用多语言指令改进教学路径接地，并在培训期间看不见的新环境中导航。为了应对这些挑战，我们提出了明确的：跨语性和环境不可屈服的表示。首先，我们的经纪人在室内室内数据集中学习了三种语言（英语，印地语和泰卢固语）的共享且视觉上的跨语言表示。我们的语言表示学习是由视觉信息对齐的文本对指导的。其次，我们的代理商通过从不同环境中最大化语义对齐的图像对（对象匹配的约束）之间的相似性来学习环境不足的视觉表示。我们的环境不可知的视觉表示可以减轻低级视觉信息引起的环境偏见。从经验上讲，在房间 - 室内数据集中，我们表明，当通过跨语性语言表示和环境 - 非局部视觉表示形式概括地看不见的环境时，我们的多语言代理在所有指标上都比强大的基线模型进行了巨大改进。此外，我们表明我们学到的语言和视觉表示可以成功地转移到房间和合作的视觉和二元式导航任务上，并提出详细的定性和定量的概括和基础分析。我们的代码可从https://github.com/jialuli-luka/clear获得

符号知识图（kgs）是通过昂贵的人众包或特定于域特异性的复杂信息提取管道来构建的。诸如BERT之类的新兴大型语言模型（LMS）已显示出隐式编码的大量知识，可以使用正确设计的提示来查询。但是，与明确的公斤相比，黑盒LMS中的知识通常很难访问或编辑，并且缺乏解释性。在这项工作中，我们旨在从LMS收获符号KG，这是一个由神经LMS的灵活性和可扩展性增强的自动kg构造的新框架。与通常依赖大型人类注释的数据或现有大量KG的先前作品相比，我们的方法仅需要对关系的最小定义作为输入，因此适合于以前无法提取有关丰富新关系的知识。该方法会自动生成多样化的提示，并在给定的LM内执行有效的知识搜索，以进行一致和广泛的输出。与以前的方法相比，使用我们的方法收获的知识要准确得多，如自动和人类评估所示。结果，我们源于多元化的LMS，一个新的KG家族（例如Bertnet和Robertanet），其中包含一套更丰富的常识关系，包括复杂的关系（例如，A对B的能力，但不擅长B”）人类注销的kg（例如概念网）。此外，由此产生的kg也是解释各自的源LMS的工具，从而导致对不同LMS不同知识能力的新见解。

在传统的对象检测框架中，从图像识别模型继承的骨干体提取了深层特征，然后颈部模块融合了这些潜在特征，以在不同的尺度上捕获信息。由于对象检测的分辨率比图像识别大得多，因此骨干的计算成本通常主导了总推断成本。这种沉重的背部设计范式主要是由于历史遗产将图像识别模型传输到对象检测时，而不是端到端的优化设计以进行对象检测。在这项工作中，我们表明这种范式确实导致了亚最佳对象检测模型。为此，我们提出了一种新型的重颈范式，长颈鹿，这是一个类似长颈鹿的网络，用于有效的对象检测。长颈鹿使用极轻的骨干和非常深的颈部模块，可同时同时在不同的空间尺度以及不同级别的潜在语义之间进行密集的信息交换。该设计范式允许检测器即使在网络的早期阶段，也可以在相同的优先级处理高级语义信息和低级空间信息，从而使其在检测任务中更有效。对多个流行对象检测基准的数值评估表明，长颈鹿在广泛的资源约束中始终优于先前的SOTA模型。源代码可在https://github.com/jyqi/giraffedet上获得。

随着在过去十年的行业4.0技术的出现，机场经历了数字化，以利用这些技术的声称益处，如改善的运营效率和乘客经验。正在进行的Covid-19随着其变体的出现（例如三角洲，omicron）加剧了机场需要采用非接触式和机器人技术的新技术，以便在这种大流行期间提供旅行。然而，了解最近的挑战和成功因素，以便在机场采用数字技术。因此，通过对世界各地的机场运营商和管理人员的行业调查（n = 102,0.754，0.754 <Composite可靠性<0.892;在Covid-19期间进行），本研究确定了采用行业4.0技术（N = 20）所面临的挑战这加强了对机场支持技术采用的最佳实践或成功因素的理解。广泛使用的技术，组织环境（TOE）框架被用作调查问卷的定量部分的理论上。互补的定性部分用于支撑并延长调查结果。该行业调查是首要讨论，了解机场运营商在机场采用行业4.0技术方面的实施挑战。调查结果表明，尽管在机场采用各种行业4.0技术的通用挑战，但行业4.0技术在机场也没有在机场中实现相似的。

机场一直不断发展和采用数字技术，以提高运营效率，增强乘客经验，从现有基础设施产生辅助收入和提升能力。 Covid-19 Pandemase也挑战机场和航空利益相关者，以适应和管理新的业务挑战，例如促进非接触式旅游经验和确保业务连续性。使用行业4.0技术的数字化为机场提供机会，以解决与Covid-19大流行相关的短期挑战，同时也为未来的危机做准备未来的长期挑战。通过对102条有关文章的系统文献综述，我们讨论了当前在机场，相关挑战以及未来的研究方向上采用行业4.0技术的现状。本综述结果表明，行业4.0技术的实施正在慢慢获得机场环境的牵引力，并在发展未来机场的数字转型旅程中继续保持相关。

我们向2021年的情感和主题提出了可摩擦的提交。在这项工作中，我们打算解决问题：我们可以利用关于音乐情感认可的半监督学习技巧吗？有了，我们试验嘈杂的学生培训，在图像分类域中具有改进的模型性能。随着嘈杂的学生方法需要强大的教师模型，我们进一步深入研究（i）输入培训长度和（ii）互补音乐表示，以进一步提高教师模型的表现。对于（i），我们发现，在PR-AUC中，具有短输入长度的型号更好地执行，而在ROC-AUC中具有长输入长度的培训则更好地执行这些模型。对于（ii），我们发现，使用谐波俯仰类概况（HPCP）一致地提高标记性能，这表明谐波表示对于音乐情感标记是有用的。最后，我们发现嘈杂的学生方法只改善了长训练长度的情况的标记结果。此外，我们发现，使用不同训练长度培训的合奏表示可以显着提高标记结果，这表明探索在网络架构中的多个时间分辨率探索的可能方向。